A tanszéki KDT Arrowhead fPVN nemzetközi ipari kutatási projekt keretében a hallgató bekapcsolódhat egy olyan demonstrátor fejlesztésébe, ahol természetes beszéddel lehet majd ipari eszközök, gépek (pl. présgépek) digitális ikreiből információt lekérni, vagy beállításokat módosítani, miközben a felhasználó a kevert valóság szemüveggel a konkrét gyárépületben tart vizitet a gépsoron. A copilot megoldásunk az OpenAI szolgáltatásaira épül, és egy multi-ágens rendszert építettünk, amely képes mikroszolgáltatásokkal integrálódni és bonyolultabb felhasználói utasításokat végrehajtani. Ezt a rendszert szeretnénk a realtime modellel és az Azure Digital Twin szolgáltatásokkal kombinálni, miközben a rendszert AR/VR szemüvegen keresztül lehetne használni. A felhasznált technológia stack: - Azure Digital Twins - Azure OpenAI gpt4o-realtime - Meta Quest 3 és Windows Mixed Reality - Unreal Engine

As part of the department's KDT Arrowhead fPVN international industrial research project, students can participate in developing a demonstrator that enables interaction with industrial equipment and machines (e.g., press machines) using natural speech. This system will allow users to retrieve information from the digital twins of these machines or modify their settings while conducting an on-site visit to the factory floor using mixed reality glasses. Our copilot solution is built on OpenAI services and incorporates a multi-agent system capable of integrating with microservices and executing complex user instructions. Our goal is to combine this system with real-time models and Azure Digital Twin services, making it accessible via AR/VR headsets. Technology Stack: Azure Digital Twins Azure OpenAI GPT-4o Realtime Meta Quest 3 & Windows Mixed Reality Unreal Engine